强大的电力系统的长期计划需要了解不断变化的需求模式。电力需求对天气敏感。因此,引入间歇性可再生能源的供应方面变化与可变需求并列,将在网格计划过程中引入其他挑战。通过了解美国温度的空间和时间变化,可以分开需求对自然变异性和与气候变化相关的影响的需求的响应,尤其是因为尚不清楚由于前一个因素所产生的影响。通过该项目,我们旨在通过开发机器和深入学习“背面销售”模型来更好地支持电力系统的技术和政策开发过程,以重建多年需求记录并研究温度的自然变异性及其对需求的影响。
translated by 谷歌翻译
我们考虑在重复的未知游戏中进行规避风险的学习,在这种游戏中,代理商的目标是最大程度地减少其个人产生高成本的风险。具体而言,代理商使用处于风险的条件值(CVAR)作为风险措施,并以每集选定动作的成本值的形式依靠强盗反馈来估算其CVAR值并更新其动作。使用匪徒反馈来估计CVAR的一个主要挑战是,代理只能访问其自身的成本值,但是,这取决于所有代理的行为。为了应对这一挑战,我们提出了一种新的规避风险的学习算法,并利用有关成本价值的完整历史信息。我们表明,该算法实现了子线性的遗憾,并匹配了文献中最著名的算法。我们为欧洲大师游戏提供了数值实验,该游戏表明我们的方法表现优于现有方法。
translated by 谷歌翻译
有效地对远程依赖性建模是序列建模的重要目标。最近,使用结构化状态空间序列(S4)层的模型在许多远程任务上实现了最先进的性能。 S4层将线性状态空间模型(SSM)与深度学习技术结合在一起,并利用HIPPO框架进行在线功能近似以实现高性能。但是,该框架导致了架构约束和计算困难,使S4方法变得复杂,可以理解和实施。我们重新审视这样的想法,即遵循河马框架对于高性能是必要的。具体而言,我们替换了许多独立的单输入单输出(SISO)SSM的库S4层与一个多输入的多输出(MIMO)SSM一起使用,并具有降低的潜在尺寸。 MIMO系统的缩小潜在维度允许使用有效的并行扫描,从而简化了将S5层应用于序列到序列转换所需的计算。此外,我们将S5 SSM的状态矩阵初始化,其近似与S4 SSMS使用的河马级矩阵近似,并表明这是MIMO设置的有效初始化。 S5与S4在远程任务上的表现相匹配,包括在远程竞技场基准的套件中平均达到82.46%,而S4的80.48%和最佳的变压器变体的61.41%。
translated by 谷歌翻译
Neyman-Scott processes (NSPs) are point process models that generate clusters of points in time or space. They are natural models for a wide range of phenomena, ranging from neural spike trains to document streams. The clustering property is achieved via a doubly stochastic formulation: first, a set of latent events is drawn from a Poisson process; then, each latent event generates a set of observed data points according to another Poisson process. This construction is similar to Bayesian nonparametric mixture models like the Dirichlet process mixture model (DPMM) in that the number of latent events (i.e. clusters) is a random variable, but the point process formulation makes the NSP especially well suited to modeling spatiotemporal data. While many specialized algorithms have been developed for DPMMs, comparatively fewer works have focused on inference in NSPs. Here, we present novel connections between NSPs and DPMMs, with the key link being a third class of Bayesian mixture models called mixture of finite mixture models (MFMMs). Leveraging this connection, we adapt the standard collapsed Gibbs sampling algorithm for DPMMs to enable scalable Bayesian inference on NSP models. We demonstrate the potential of Neyman-Scott processes on a variety of applications including sequence detection in neural spike trains and event detection in document streams.
translated by 谷歌翻译
超越地球轨道的人类空间勘探将涉及大量距离和持续时间的任务。为了有效减轻无数空间健康危害,数据和空间健康系统的范式转移是实现地球独立性的,而不是Earth-Reliance所必需的。有希望在生物学和健康的人工智能和机器学习领域的发展可以解决这些需求。我们提出了一个适当的自主和智能精密空间健康系统,可以监控,汇总和评估生物医学状态;分析和预测个性化不良健康结果;适应并响应新累积的数据;并提供对其船员医务人员的个人深度空间机组人员和迭代决策支持的预防性,可操作和及时的见解。在这里,我们介绍了美国国家航空航天局组织的研讨会的建议摘要,以便在太空生物学和健康中未来的人工智能应用。在未来十年,生物监测技术,生物标志科学,航天器硬件,智能软件和简化的数据管理必须成熟,并编织成精确的空间健康系统,以使人类在深空中茁壮成长。
translated by 谷歌翻译
空间生物学研究旨在了解太空飞行对生物的根本影响,制定支持深度空间探索的基础知识,最终生物工程航天器和栖息地稳定植物,农作物,微生物,动物和人类的生态系统,为持续的多行星寿命稳定。要提高这些目标,该领域利用了来自星空和地下模拟研究的实验,平台,数据和模型生物。由于研究扩展到低地球轨道之外,实验和平台必须是最大自主,光,敏捷和智能化,以加快知识发现。在这里,我们介绍了由美国国家航空航天局的人工智能,机器学习和建模应用程序组织的研讨会的建议摘要,这些应用程序为这些空间生物学挑战提供了关键解决方案。在未来十年中,将人工智能融入太空生物学领域将深化天空效应的生物学理解,促进预测性建模和分析,支持最大自主和可重复的实验,并有效地管理星载数据和元数据,所有目标使生活能够在深空中茁壮成长。
translated by 谷歌翻译
转移学习(TL)利用以前获得的知识有效地学习新任务,并且已被用于培训具有有限数量的数据的深度学习(DL)模型。当TL应用于DL时,佩带的预押(教师)模型是微调的,以构建特定域(学生)模型。这种微调依赖于DL模型可以分解到分类器和特征提取器,并且一系列研究表明,相同的特征提取器可用于培训多个任务上的分类器。此外,最近的研究提出了多种算法,可以进行微调教师模型的特征提取器,以更有效地培训学生模型。我们注意到,无论特征提取器的微调如何,学生模型的分类器都接受了特征提取器的最终输出(即倒数第二层的输出)。然而,最近的一项研究表明,跨层中的Resnet中的特征映射可能是在功能上等同的,提高要素提取器内的特征映射的可能性也可用于训练学生模型的分类器。灵感来自这项研究,我们测试了教师模型隐藏层中的特征映射,可用于提高学生模型的准确性(即,TL的效率)。具体而言,我们开发了“自适应传输学习(ATL)”,可以选择用于TL的最佳特征映射,并在几次拍摄的学习设置中测试。我们的实证评估表明,ATL可以帮助DL模型更有效地学习,特别是当可用示例有限时。
translated by 谷歌翻译
经常性的神经网络(RNNS)是用于处理时间序列数据的强大模型,但了解它们如何运作仍然具有挑战性。提高这种理解对机器学习和神经科学社区的大量兴趣。逆向工程框架训练的RNN通过在其固定点周围线性化提供了洞察力,但该方法具有重大挑战。这些包括在使用线性化动态重建非线性动态时,选择在研究RNN动态和误差累积时难以扩展的固定点。我们提出了一种通过使用新型切换线性动态系统(SLD)制剂的RNN共同训练RNN来克服这些限制的新模型。共同训练的RNN的一阶泰勒系列扩展和训练拾取RNN的固定点的辅助功能管理SLDS动态。结果是训练有素的SLDS变体,其与RNN相近,可以为状态空间中的每个点产生固定点的辅助函数,以及其动态已经规程的训练有素的非线性RNN,使得其一阶项执行计算, 如果可能的话。该模型删除了培训后的固定点优化,并允许我们明确地研究SLD在状态空间中的任何点的学习动态。它还概括了SLDS模型,以在交换机共享参数的同时将SLD模型转换为切换点的连续歧管。我们以与先前的工作逆向工程RNN相关的两个合成任务验证模型的实用程序。然后,我们表明我们的模型可以用作更复杂的架构中的替换,例如LFAD,并应用该LFADS杂种以分析非人类灵长类动物的电机系统的单试尖峰活动。
translated by 谷歌翻译
了解生物和人造网络的运作仍然是一个艰难而重要的挑战。为了确定一般原则,研究人员越来越有兴趣测量培训的大量网络,或者在培训或生物学地适应类似的任务。现在需要一种标准化的分析工具来确定网络级协变量 - 例如架构,解剖脑区和模型生物 - 影响神经表示(隐藏层激活)。在这里,我们通过定义量化代表性异化的广泛的公制空间,为这些分析提供严格的基础。使用本框架,我们根据规范相关分析修改现有的代表性相似度量,以满足三角形不等式,制定致扫描层中的感应偏差的新型度量,并识别使网络表示能够结合到基本上的近似的欧几里德嵌入物。货架机学习方法。我们展示了来自生物学(Allen Institute脑观测所)和深度学习(NAS-BENCH-101)的大规模数据集的这些方法。在这样做时,我们识别在解剖特征和模型性能方面可解释的神经表现之间的关系。
translated by 谷歌翻译
Making histopathology image classifiers robust to a wide range of real-world variability is a challenging task. Here, we describe a candidate deep learning solution for the Mitosis Domain Generalization Challenge 2022 (MIDOG) to address the problem of generalization for mitosis detection in images of hematoxylin-eosin-stained histology slides under high variability (scanner, tissue type and species variability). Our approach consists in training a rotation-invariant deep learning model using aggressive data augmentation with a training set enriched with hard negative examples and automatically selected negative examples from the unlabeled part of the challenge dataset. To optimize the performance of our models, we investigated a hard negative mining regime search procedure that lead us to train our best model using a subset of image patches representing 19.6% of our training partition of the challenge dataset. Our candidate model ensemble achieved a F1-score of .697 on the final test set after automated evaluation on the challenge platform, achieving the third best overall score in the MIDOG 2022 Challenge.
translated by 谷歌翻译